Cavendish sinh ra ở Douglas, trên đảo Isle of Man, bố anh tên là David là dân đảo và mẹ là Adele đến từ xứ Yorkshire, Anh quốc.[12] Anh đã bắt đầu chơi môn đạp xe motocross (BMX) từ khi còn rất nhỏ và đã từng tham gia các giải đua thiếu niên ở trung tâm National Sports Centre ở Douglas.

Lên 9 tuổi, Cavendish gia nhập một câu lạc bộ ở Douglas và sớm bộc lộ sự quyết tâm trong khi thi đấu. Cựu huấn luyện viên của anh ấy là Dot Tibury kể lại rằng: "Cậu ta không thích thua cuộc. Sau đó cậu ta bắt đầu giành được chiến thắng và thường bắt vòng các tay đua khác".[13]

Cavendish cũng chia sẻ: " Tôi luôn luôn chạy xe. Nhưng có vài cuộc đua mà tôi bị rớt lại."[14] "Khi đó thì mẹ tôi đã cười và tôi giải thích rằng đó là do các đối thủ đều sử dụng xe đạp leo núi. Cho nên tôi xin mẹ mua một chiếc xe đạp eo núi. Đến sinh nhật thứ 13 thì tôi đã có một chiếc. Và ở những cuộc thi sau thì tôi đã đánh bại mọi đối thủ."[14] Đó cũng là thời điểm mà Cavendish gặp cựu tay đua David Millar, người mà anh ấy rất ngưỡng mộ. Sau đó thì Cavendish đã nghỉ học và có 2 năm làm việc ở một ngân hàng để kiếm tiền cho ước mơ trở thành một vận động viên chuyên nghiệp.[15]

Năm 2003, Cavendish là một trong 6 tay đua trẻ được chọn vào học viện British Cycling's Olympic Academy, cho dù ban đầu anh suýt bị từ chối. Các huấn luyện viên Rod Ellingworth, John Herety và Simon Lillistone đã nhận thấy tiềm năng của anh ấy và ra sức thuyết phục Giám đốc Peter Keen chọn anh vào học viện.[16] Chiến thắng đầu tiên của anh ấy là ở giải đua Girvan Tree Day hồi tháng 3 năm 2004.[17] Trong thời gian ở học viện, Cavendish đã giành 2 huy chương vàng ở Đại hội thể thao Island Games 2003.[18][19]

Cavendish đã có nhiều tiến bộ trong thời gian ở học viện. Huấn luyện viên Ellingworth khi được hỏi về môi trường học tập có phần hà khắc ở học viện đã nói rằng: "Cav có vẻ rất thích nó". Ở học việc thì các tay đua trẻ được cấp 58 bảng một tuần, phải tự quản lý tài chính cũng như nấu ăn và dọn dẹp.[20][17] Tạp chí Cycling Weekly thì mô tả học viện giống như một trại huấn luyện theo phong cách một trại hè[17] do Ellingworth quản lý. Ellingworth đã bỏ bài tập chạy xe 3 giờ mà bắt các tay đua trẻ phải hoàn thành bài tập chạy xe 4 giờ trong đêm.[21]

Ở giải đua trong nhà Track world championships 2005 ở Los Angeles, Cavendish cùng đồng đội Rob Hayles đã giành huy chương vàng mặc dù trước đó họ chưa từng thi đấu chung với nhau. Đó là danh hiệu vô địch thế giới đầu tiên của Cavendish.[22] Sau đó Cavendish cũng chiến thắng cuộc đua tính điểm ở giải đua European championship 2005.[23]